Phân tích dư lượng là gì? Các nghiên cứu khoa học liên quan

Phân tích dư lượng là gì?

Phân tích dư lượng (residual analysis) là một kỹ thuật thống kê dùng để đánh giá mức độ phù hợp của mô hình dự đoán bằng cách kiểm tra phần sai lệch giữa giá trị thực tế và giá trị dự đoán từ mô hình. Phần sai lệch này, gọi là dư lượng (residual), đại diện cho phần biến thiên của biến phụ thuộc chưa được giải thích bởi mô hình hồi quy. Trong thống kê, dư lượng là thước đo định lượng cho sự thiếu chính xác của mô hình.

Phân tích dư lượng thường được thực hiện sau khi xây dựng mô hình, đặc biệt là mô hình hồi quy tuyến tính hoặc phi tuyến. Nó giúp xác định xem mô hình có thỏa mãn các giả định nền tảng hay không, bao gồm tuyến tính, phương sai đồng nhất, độc lập và phân phối chuẩn của sai số. Nếu các giả định này bị vi phạm, mô hình có thể bị sai lệch và dẫn đến kết luận không chính xác.

Phân tích dư lượng còn được dùng để phát hiện điểm ngoại lệ, điểm ảnh hưởng cao và các mẫu sai số hệ thống có thể gợi ý cải tiến mô hình. Trong học máy và kinh tế lượng, kỹ thuật này đóng vai trò quan trọng trong quy trình hiệu chỉnh mô hình và tăng độ tin cậy của dự đoán.

Khái niệm dư lượng trong hồi quy

Trong hồi quy tuyến tính đơn giản, mô hình dự đoán biến phụ thuộc $y$ từ biến độc lập $x$ thông qua phương trình: $\hat{y}_i = \beta_0 + \beta_1 x_i$. Dư lượng $e_i$ của quan sát thứ $i$ được định nghĩa là chênh lệch giữa giá trị thực tế và giá trị ước lượng:

$e_i = y_i - \hat{y}_i$

Dư lượng mang bản chất là nhiễu – phần biến thiên không giải thích được bởi mô hình. Tổng bình phương các dư lượng là đại lượng thường được sử dụng để ước lượng tham số mô hình theo phương pháp bình phương tối thiểu (Ordinary Least Squares – OLS). Mô hình tốt là mô hình có dư lượng nhỏ, phân bố ngẫu nhiên và không có cấu trúc hệ thống rõ rệt.

Phân tích dư lượng không chỉ dừng lại ở việc đánh giá mức sai lệch mà còn liên quan đến việc xác định phương sai của chúng, phân phối chuẩn, và sự độc lập giữa các điểm dữ liệu. Trong các mô hình tuyến tính mở rộng, khái niệm dư lượng được mở rộng dưới nhiều dạng khác nhau nhằm phù hợp với cấu trúc dữ liệu phức tạp hơn.

Các giả định trong mô hình hồi quy và vai trò của phân tích dư lượng

Phân tích dư lượng là công cụ then chốt để kiểm tra các giả định cơ bản trong mô hình hồi quy. Nếu các giả định này bị vi phạm, các tham số hồi quy sẽ không còn hiệu lực giải thích, và giá trị dự đoán trở nên thiếu tin cậy. Dưới đây là những giả định chính thường được kiểm tra qua dư lượng:

• Tuyến tính: Mối quan hệ giữa biến độc lập và phụ thuộc là tuyến tính.
• Phân phối chuẩn của dư lượng: Dư lượng có trung bình bằng 0 và phân phối gần chuẩn.
• Phương sai không đổi (homoscedasticity): Dư lượng có phương sai đồng nhất trên toàn bộ phạm vi giá trị dự đoán.
• Độc lập: Dư lượng không có mối liên hệ (tương quan) với nhau.

Phân tích dư lượng giúp xác định kiểu sai lệch cụ thể đang tồn tại. Nếu mô hình vi phạm tính tuyến tính, biểu đồ dư lượng thường hiển thị dạng cong hoặc parabol. Nếu vi phạm giả định phương sai không đổi, biểu đồ sẽ có hình phễu, biểu hiện phương sai thay đổi theo mức độ dự đoán. Tương quan dư lượng theo chuỗi thời gian cho thấy sự vi phạm tính độc lập.

Bảng dưới đây tóm tắt các loại vi phạm phổ biến và biểu hiện đặc trưng trong dư lượng:

Giả định	Vi phạm	Biểu hiện trong dư lượng
Tuyến tính	Quan hệ phi tuyến	Hình parabol hoặc đường cong trong biểu đồ dư lượng
Homoscedasticity	Phương sai thay đổi	Hình phễu (fan shape)
Độc lập	Tự tương quan	Mẫu có cấu trúc, biểu hiện tuần hoàn
Phân phối chuẩn	Dư lượng phân bố lệch	Đuôi lệch trong Q-Q plot

Biểu đồ dư lượng và chẩn đoán mô hình

Biểu đồ dư lượng là công cụ trực quan quan trọng giúp đánh giá hiệu quả mô hình. Một biểu đồ dư lượng phù hợp thường thể hiện các điểm dữ liệu phân bố ngẫu nhiên quanh trục hoành tại mức 0, không có xu hướng rõ ràng, và không cho thấy bất kỳ cấu trúc hoặc hình mẫu hệ thống nào.

Các biểu đồ phổ biến được sử dụng trong phân tích dư lượng gồm:

• Biểu đồ dư lượng so với giá trị dự đoán: Kiểm tra tuyến tính và phương sai đồng nhất.
• Biểu đồ Q-Q plot: Kiểm tra phân phối chuẩn của dư lượng.
• Histogram dư lượng: So sánh trực quan với phân phối chuẩn.
• Biểu đồ tự tương quan (ACF): Kiểm tra tính độc lập của dư lượng theo chuỗi thời gian.

Trong thực hành, người phân tích thường sử dụng kết hợp nhiều biểu đồ để đưa ra đánh giá toàn diện về chất lượng mô hình. Nếu biểu đồ cho thấy sai lệch đáng kể, có thể cần thay đổi dạng mô hình (chuyển đổi log, mô hình phi tuyến, thêm biến tương tác) hoặc thay đổi cách xử lý dữ liệu (chuẩn hóa, loại bỏ ngoại lệ).

Phân tích dư lượng trong hồi quy tuyến tính tổng quát (GLM)

Trong các mô hình hồi quy tuyến tính tổng quát (GLM), phân tích dư lượng trở nên phức tạp hơn do mối quan hệ phi tuyến giữa biến mục tiêu và biến dự đoán thông qua hàm liên kết. Trong GLM, giả định về phân phối chuẩn của sai số không còn được giữ nguyên; do đó các loại dư lượng tiêu chuẩn như trong OLS không còn phù hợp hoàn toàn.

Để thích ứng với đặc điểm của GLM, người ta phát triển nhiều loại dư lượng khác nhau, bao gồm:

• Dư lượng Pearson: $r_i = \frac{y_i - \hat{y}_i}{\sqrt{\hat{V}(y_i)}}$, phản ánh độ lệch giữa quan sát và dự đoán theo phương sai lý thuyết của mô hình.
• Dư lượng deviance: Đo lường mức độ chênh lệch giữa mô hình đang xét và mô hình hoàn hảo (saturated model).
• Dư lượng chuẩn hóa: Thường được sử dụng để so sánh các quan sát khác nhau trong tập dữ liệu có phương sai không đồng đều.

Biểu đồ dư lượng GLM thường được phân tích cùng với biểu đồ leverage và Cook’s distance để đánh giá tác động của từng quan sát lên mô hình tổng thể.

Phát hiện ngoại lệ và điểm ảnh hưởng

Một trong những ứng dụng thiết yếu của phân tích dư lượng là phát hiện các quan sát bất thường – hay còn gọi là ngoại lệ (outliers) – cũng như những điểm có ảnh hưởng lớn tới mô hình (influential points). Sự hiện diện của chúng có thể làm lệch kết quả ước lượng, ảnh hưởng đến khả năng tổng quát hóa của mô hình.

Các chỉ số phổ biến được dùng để xác định ảnh hưởng của điểm dữ liệu:

• Leverage: Phản ánh mức độ "tách biệt" của một quan sát so với phần còn lại trong không gian biến độc lập.
• Cook’s distance: Kết hợp giữa dư lượng và leverage để xác định mức độ ảnh hưởng của một quan sát đến toàn bộ mô hình.
• DFFITS và DFBetas: Đánh giá mức thay đổi trong giá trị dự đoán và ước lượng hệ số khi loại bỏ một quan sát cụ thể.

Một số phần mềm thống kê như R, Python (statsmodels, sklearn), SAS và SPSS đều tích hợp sẵn các chỉ số này để hỗ trợ phát hiện và trực quan hóa ảnh hưởng điểm dữ liệu.

Bảng dưới tóm tắt vai trò của một số chỉ số ảnh hưởng:

Chỉ số	Mục đích	Ngưỡng tham khảo
Leverage	Phát hiện điểm nằm xa trung tâm dữ liệu	> $2(p+1)/n$
Cook's distance	Ảnh hưởng toàn cục đến mô hình	> 1
DFBetas	Ảnh hưởng đến từng hệ số cụ thể	> 2/\sqrt{n}

Phân tích dư lượng trong học máy

Trong bối cảnh học máy hiện đại, phân tích dư lượng có vai trò không chỉ đánh giá mà còn cải tiến mô hình học. Dư lượng lớn chỉ ra những phần dữ liệu chưa được mô hình học tốt, từ đó trở thành trọng tâm cho các kỹ thuật học tăng cường như boosting hoặc stacking.

Trong hồi quy phi tuyến (nonlinear regression) hoặc mô hình cây quyết định, dư lượng giúp nhận diện overfitting, bias hoặc variance cao. Một chiến lược phổ biến là kiểm tra phân phối dư lượng trên tập huấn luyện và tập kiểm tra để phát hiện sự bất ổn trong dự đoán.

Ví dụ, thuật toán XGBoost xây dựng từng cây liên tiếp dựa trên dư lượng của cây trước đó, biến phân tích dư lượng thành cơ chế học trung tâm. Ngoài ra, trong mô hình học sâu, residual learning như trong ResNet tận dụng dư lượng giữa đầu vào và đầu ra như một đường tắt (shortcut) giúp tăng tốc độ hội tụ.

Xem thêm tại: scikit-learn: Residual Analysis Example

Ứng dụng của phân tích dư lượng

Phân tích dư lượng được áp dụng trong nhiều lĩnh vực khoa học và kỹ thuật. Một số ví dụ điển hình:

• Kinh tế lượng: Kiểm tra giả định phương sai không đổi (ARCH/GARCH), phát hiện outlier trong mô hình thời gian.
• Y học: Phân tích chất lượng dự đoán nguy cơ bệnh tật từ mô hình hồi quy logistic.
• Kỹ thuật: Đánh giá sai số của mô hình điều khiển PID, dự đoán năng lượng hoặc hiệu suất hệ thống cơ điện.
• Môi trường: Phân tích phân bố ô nhiễm, sai số trong mô hình dự báo khí tượng.

Việc hiểu rõ đặc điểm dư lượng giúp cải tiến chất lượng mô hình, giảm thiểu rủi ro ra quyết định dựa trên mô hình thiếu chính xác.

Hạn chế và mở rộng của phân tích dư lượng

Mặc dù là công cụ phổ biến và hữu ích, phân tích dư lượng cũng có những giới hạn. Khi mô hình sai dạng hoàn toàn, ví dụ như quan hệ phi tuyến hoặc tương tác phức tạp không được đưa vào mô hình, biểu đồ dư lượng có thể không phát hiện được vấn đề. Ngoài ra, với các tập dữ liệu lớn, trực quan hóa dư lượng có thể khó thực hiện hiệu quả.

Các mở rộng hiện đại bao gồm:

• Residual-guided networks: Học sâu có hướng dẫn bằng sai số dự đoán.
• Bayesian residual analysis: Ước lượng phân phối của sai số theo phương pháp Bayes.
• Uncertainty quantification: Kết hợp phân tích dư lượng và khoảng tin cậy để đánh giá mức độ không chắc chắn trong dự đoán.

Trong tương lai, dư lượng có thể đóng vai trò trung tâm trong việc điều hướng mô hình học tự động (AutoML), giúp chọn mô hình phù hợp với cấu trúc dữ liệu đầu vào.

Tài liệu tham khảo

1. Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis. Wiley.
2. Draper, N. R., & Smith, H. (1998). Applied Regression Analysis. Wiley.
3. Fox, J. (2015). Applied Regression Analysis and Generalized Linear Models. Sage Publications.
4. Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). Applied Linear Statistical Models. McGraw-Hill.
5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.
6. scikit-learn: Linear Regression
7. The R Project for Statistical Computing
8. XGBoost Documentation